정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document :
| 한글제목(Korean Title) |
ReLU가 합성된 행렬 곱 연산의 부분 생략을 통한 딥 러닝 모델 추론 시간 개선 |
| 영문제목(English Title) |
Improving the Inference Time of the Deep Learning Model with Partial Skip of ReLU-fused Matrix Multiplication Operations |
| 저자(Author) |
김성균
안건주
김나훈
서지원
Sungkyun Kim
Gunjoo Ahn
Nahum Kim
Jiwon Seo
|
| 원문수록처(Citation) |
VOL 28 NO. 03 PP. 0139 ~ 0145 (2022. 03) |
한글내용
(Korean Abstract) |
최근 딥 러닝의 활용 분야가 넓어지는 추세이며, 많은 파라미터들을 가지고 있는 Large-Scale 딥 러닝 모델들이 좋은 성능을 보이는 경향이 있다. 그리고 크기가 큰 모델을 이용한 딥 러닝 추론은 필연적으로 많은 자원과 긴 시간을 요구하므로 딥 러닝 모델의 효율적인 활용을 위해서는 추론 시간의 단축이 필수적으로 요구된다. 본 논문에서는 딥 러닝 추론 과정에서 활성화 함수인 Rectified Linear Unit 과행렬 곱을 융합하고, 두 연산과정에서 계산할 출력 값의 부호를 미리 예측하여 계산의 양을 줄이는 네 가지 방법을 제안하며, 네 가지 계산 생략 방법의 비교를 통해 정확도를 거의 해치지 않는 선에서 계산의 양을 줄여 추론 시간을 절약하는 최적의 방안을 도출한다. |
영문내용
(English Abstract) |
Deep learning has expanded its utilization, and large-scale deep learning models containing many parameters tend to perform well. As large-scale models inevitably require many resources and long inference time, reducing the inference time is essential for efficient utilization of deep learning models. We fuse the activation function Rectified Linear Unit and matrix multiplication in the inference process, and reduce the amount of computation by predicting the sign of the output values to be computed in the computational processes. We propose four methods for reducing the computation and derive an optimal method that saves inference time with low accuracy loss by reducing the amount of computation by comparing these four methods. |
| 키워드(Keyword) |
딥 러닝 최적화
계산 생략
완전 연결 레이어
추론 최적화
deep learning optimization
omitted computation
fully-connected layer
inference optimization
|
| 파일첨부 |
PDF 다운로드
|
